SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
SynthDocBench：长上下文视觉文档理解的受控基准
🧭 基准评估 · 长文档多模态理解
ServiceNow AI · Mila · Université de Montréal
通过合成数据系统控制文档长度、布局、模态和问题类型，揭示VLMs在长文档上的三种失败模式
📌 工作参考价值（4 点）
- 合成数据生成范式的复用：用LLM管线生成可控变量（长度、布局、模态、问题类型）的文档，可迁移到电商商品详情页、广告落地页等多模态内容的理解评估，系统诊断模型弱点。
- 位置敏感性发现：中部段落准确率最低（5/6模型“Early→Late”负向趋势，最大降8.3个百分点），提示在构建RAG系统的检索上下文时，避免简单按序拼接长文档，应将关键信息前移或采用分段注意力增强机制。
- 图表理解在长文档中崩坏：长文档内嵌图表的理解错误高，对广告/推荐中常含图表的多模态素材，需单独提取图表区域进行专项编码，或限制上下文长度以避免干扰。
- 防伪相关的随机覆写机制：生成时用40%随机覆写防止模型利用虚假关联，在实际业务构建评测集时，可引入类似随机占位符或噪声注入，避免模型走捷径，提升评测稳健性。